Telegram Group & Telegram Channel
Forwarded from Machinelearning
🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM



tg-me.com/machinelearning_interview/1541
Create:
Last Update:

🌟 Oumi: опСнсорс-Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ ΠΏΠΎΠ»Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° для LLM.

Oumi - открытая ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ° для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ, Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½Π°, ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΈ экспСримСнтов с языковыми ΠΈ ΠΌΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ модСлями, созданная совмСстными усилиями исслСдоватСлСй ΠΈΠ· 13 Π²Π΅Π΄ΡƒΡ‰ΠΈΡ… унивСрситСтов.

Oumi прСдоставляСт инструмСнты ΠΈ Ρ€Π°Π±ΠΎΡ‡ΠΈΠ΅ процСссы для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΈ запуска ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… экспСримСнтов Π½Π° кластСрС, развСртывания ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² Ρ€Π°Π±ΠΎΡ‡Π΅ΠΉ срСдС ΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ распрСдСлСнного обучСния (FSDP, DDP):

πŸŸ’ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΈ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΡ‚ 10M Π΄ΠΎ 405B ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ SFT, LoRA, QLoRA ΠΈ DPO;
πŸŸ’ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΡƒ популярных сСмСйств ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ: Llama, DeepSeek, Qwen ΠΈ Phi;
πŸŸ’ΡΠΈΠ½Ρ‚Π΅Π· ΠΈ ΠΊΡƒΡ€ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ… с использованиСм LLM-judge;
πŸŸ’Π±Ρ‹ΡΡ‚Ρ€ΠΎΠ΅ Ρ€Π°Π·Π²Π΅Ρ€Ρ‚Ρ‹Π²Π°Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² срСдах vLLM ΠΈ SGLang;
πŸŸ’ΠΏΡ€ΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ комплСксного Π±Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊΠΈΠ½Π³Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΏΠΎ стандартным тСстам;
πŸŸ’Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ ΠΏΠΎ API OpenAI, Anthropic ΠΈ Vertex AI;
πŸŸ’ΠΈΠ½Ρ‚Π΅Π³Ρ€Π°Ρ†ΠΈΡ с Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΎΠΉ Transformers.

Π’ Ρ€Π΅ΠΏΠΎΠ·ΠΈΡ‚ΠΎΡ€ΠΈΠΈ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° собраны Π³ΠΎΡ‚ΠΎΠ²Ρ‹Π΅ Π½ΠΎΡƒΡ‚Π±ΡƒΠΊΠΈ ΠΈ скрипты для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΠΈΠ· этапов ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎΠ³ΠΎ Ρ†ΠΈΠΊΠ»Π° ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, Π° подробная докумСнтация ΠΏΠΎ использованию ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ‚ Π»Π΅Π³ΠΊΠΎ ΠΎΡΠ²ΠΎΠΈΡ‚ΡŒ эту ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡƒ.

πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Apache 2.0 License.


πŸŸ‘Π‘Ρ‚Π°Ρ‚ΡŒΡ
πŸŸ‘Π”ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΡ
πŸŸ‘Π‘ΠΎΠΎΠ±Ρ‰Π΅ΡΡ‚Π²ΠΎ Π² Discord
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #Oumi #Framework

BY Machine learning Interview





Share with your friend now:
tg-me.com/machinelearning_interview/1541

View MORE
Open in Telegram


Machine learning Interview Telegram | DID YOU KNOW?

Date: |

Spiking bond yields driving sharp losses in tech stocks

A spike in interest rates since the start of the year has accelerated a rotation out of high-growth technology stocks and into value stocks poised to benefit from a reopening of the economy. The Nasdaq has fallen more than 10% over the past month as the Dow has soared to record highs, with a spike in the 10-year US Treasury yield acting as the main catalyst. It recently surged to a cycle high of more than 1.60% after starting the year below 1%. But according to Jim Paulsen, the Leuthold Group's chief investment strategist, rising interest rates do not represent a long-term threat to the stock market. Paulsen expects the 10-year yield to cross 2% by the end of the year. A spike in interest rates and its impact on the stock market depends on the economic backdrop, according to Paulsen. Rising interest rates amid a strengthening economy "may prove no challenge at all for stocks," Paulsen said.

For some time, Mr. Durov and a few dozen staffers had no fixed headquarters, but rather traveled the world, setting up shop in one city after another, he told the Journal in 2016. The company now has its operational base in Dubai, though it says it doesn’t keep servers there.Mr. Durov maintains a yearslong friendship from his VK days with actor and tech investor Jared Leto, with whom he shares an ascetic lifestyle that eschews meat and alcohol.

Machine learning Interview from br


Telegram Machine learning Interview
FROM USA